Procesos Estocásticos 2025

Descripción del curso

Bienvenidos al curso de Procesos Estocásticos IESTA-2025. Esta página contiene todo el material del curso , la página contiente

• Prácticos y Soluciones: enunciados de los prácticos aquí. Las soluciones se publicarán a medida que avance el curso.
• Clases: apuntes de clase con ejemplos y algunas simulaciones en R/Python.
• Calendario: fechas relevantes + detalle de lo que se dio en cada clase.

Docentes a cargo

• Matías Carrasco
• Lucca Frachelle

Temario

Este es el temario propuesto para el curso. Se podrá exonerar la parte escrita del examen si se obtiene un mínimo del 40% del total de puntos en cada revisión y un promedio de al menos 60% entre ambas revisiones.

Contenido Sintético

1. Procesos estocásticos: introducción, definiciones, ejemplos.
2. Problema de la ruina.
3. Paseos aleatorios en tiempo discreto.
4. Martingalas.
5. Aplicaciones a la Optimización y Aproximación Estocástica.
6. Cadenas de Markov en tiempo discreto.
7. Stochastic Bandits.

Contenido Desagregado

1. Procesos estocásticos
   • Introducción y motivación.
   • Definición general.
   • Ejemplos.
2. Problema de la ruina
   • Cálculo de la probabilidad de ruina.
   • Tiempo medio de duración del juego.
   • Recurrencia y fórmulas explicitas.
   • Límite cuando el capital tiende a infinito.
3. Paseos aleatorios en tiempo discreto
   • Principio de reflexión.
   • Probabilidad de retorno.
   • Tiempo medio de retorno.
   • Distribución del primer retorno.
4. Martingalas
   • Filtraciones y Esperanza Condicional.
   • Definición, Propiedades y Ejemplos.
   • Tiempos de parada.
   • Teorema del muestreo opcional de Doob.
   • Aplicaciones al problema de la ruina.
   • Teorema de convergencia.
5. Aplicaciones a la Optimización y Aproximación Estocástica
   • Teorema de Robbins-Monro.
   • Descenso Estocástico de Gradiente.
   • Aplicaciones en Optimización y Machine Learning.
6. Cadenas de Markov en tiempo discreto
   • Propiedad de Markov, Matriz de transición, Ejemplos de CM.
   • Cadenas absorbentes.
   • Probabilidad y tiempo medio de absorción.
   • Aplicaciones al problema de la ruina.
   • Cadenas ergódicas.
   • Tiempo de primer retorno.
   • Número medio de retornos.
   • Estados recurrentes y transitorios.
   • Recurrencia positiva y nula.
   • Periodicidad y Aperiodicidad.
   • Distribución límite.
   • Estacionariedad.
   • Propiedad Fuerte de Markov.
   • Teorema Ergódico.
   • Aplicaciones a los Modelos de Lenguaje.
7. Stochastic Bandits
   • Formulación del problema clásico.
   • Regret esperado y cotas.
   • Algoritmos: \(\epsilon\)-greedy, UCB, Thompson Sampling.
   • Comparaciones empíricas.
   • Aplicaciones modernas.

Evaluación

El sistema de evaluación incluye dos revisiones. La primera tiene un puntaje máximo de 50 y mínimo de 20, mientras que la segunda también tiene un máximo de 50 y un mínimo de 20. La calificación total es de 100 puntos, con un mínimo de 60 para aprobar.

Fechas de revisión

• Primera revisión: 10 de octubre de 2025
• Segunda revisión: 04 de diciembre de 2025

Bibliografía

• Lanchier, Nicolas. Stochastic modeling. Berlin: Springer, 2017.
• Privault, Nicolas (2013). Understanding Markov Chains. Examples and Applications, Springer, ISBN 978-981-4451-51-2 (eBook).
• Petrov and Mordecki. Teoría de la probabilidad. Dirac, 2008.
• Walton, Neil. Stochastic Control. (2021).